Carta-relatório-propositiva 
Rio de Janeiro, 5 de abril de 2018. 


Caras e caros colegas de PPGCI: 

Obrigada Andréa Doyle e Nathália Romeiro pelo esforço realizado e por 
compartilhar conosco sua iniciativa. 

Vou expor, nessa carta-relatório, as razões que me levam a discordar 
tecnicamente dos critérios propostos para o novo sistema de atribuição e 
manutenção de bolsas de mestrado e doutorado. 

Essa exposição é também um convite a todo o corpo discente do PPGCI a 
apropriar-se desse importante debate que diz respeito à nossa rotina discente. 

Ao meu ver, é necessário uma compreensão objetiva dos critérios adotados pela 
CAPES para avaliar os programas de pós-graduação stricto sensu a fim de 
elaborarmos uma proposta de mudança tal como a sugerida pela representação 
discente. 

Esses critérios estão detalhados no que se chama "documento de área". Esse 
documento é o que norteia todo o processo de avaliação de um programa e está 
disponível para consulta pública no portal da CAPES. 

Para agilizar o acesso a essas informações que nos são de urgente relevância, 
compartilho também o documento completo a fim de que todas as pessoas 
interessadas possam participar do debate e esclarecer dúvidas substanciais. 

Se o objetivo é compreender qual a contribuição efetiva da produção discente na 
avaliação do nosso programa pela CAPES, um bom começo é analisar os 
indicadores adotados pela CAPES para nossa área específica de conhecimento - 
as "Ciências Sociais Aplicadas 1”. 
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Na composição da ficha de avalição para os programas acadêmicos é possível 
observar a definição de quesitos ou itens bem como seus distintos pesos na 
avaliação. 


Temos 5 quesitos ou itens com os seguintes pesos: 

1. Proposta do programa (_) 

2. Corpo docente (20%) 

3. Corpo discente/ Teses e Dissertações (30%) 

4. Produção intelectual (40%) 

5. Inserção social (10%) 

A tabela 4, abaixo, ilustra essa distribuição, servindo de excelente introdução. 
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II. CONSIDERAÇÕES GERAIS SOBRE A "FICHA DE AVALIAÇÃO" 


O Documento de Área 2016 fixou mudanças importantes na Ficha de Avaliação, 
muitas decorrentes de propostas resultantes da avaliação trienal anterior, tendo sido 
discutidas e votadas no Seminário de Meio Termo, em 2015. Essas mudanças tiverem 
por objetivo tornar mais claras as expectativas em tomo de cada quesito e definir 
indicadores específicos que refletissem o consenso da área quanto aos critérios pelos 
quais cada programa seria avaliado. 

A definição precisa desses indicadores decorreu também da ampla base de 
dados proporcionada pela plataforma Sucupira que permitiu aquilatar com maior 
objetividade e precisão os resultados alcançados por cada programa em aspectos que 
antes eram largamente dependentes de avaliações qualitativas e subjetivas. No 
entanto, os indicadores quantitativos e quali-quantitativos obtidos nunca foram 
considerados de maneira absoluta, per se, mas sempre confrontados com os relatos 
fornecidos pelos programas nos quesitos 1 e 5 que serviram de balizamento para os 
mesmos. A Tabela 4 apresenta a síntese e os pesos relativos de cada quesito nos 
programas acadêmicos e profissionais. 


Tabela 4 


SlNTESE E PESOS DAS FICHAS DE AVALIAÇAO 


Quesito de Avaliação 

Mestrado e Doutorado 
Acadêmicos 

Mestrado 

Profissional 

1. Proposta do Programa 

2. Corpo Docente 


25% 

f Syprpo Discente.Teses e 
iJissertaçôes 


30% 

4. Produção Intelectual 

40% 

30% 

5. Inserção Social e Relevância 

10% 

15% 


A nota atribuída ao Programa é decorrente dos conceitos obtidos em cada item 
de cada um dos cinco quesitos da ficha de avaliação, de acordo com a relação entre os 
conceitos e seus equivalentes numéricos. O detalhamento dos indicadores e métricas 
utilizadas será informado mais adiante. 


Fonte: Relatório de Avaliação Quadrienal 2017 - Comunicação e Informação, p. 11 
(marcações minhas) 


A observação atenta dos dados chama a atenção para o fato de que a produção 
discente tem 30% de peso na avaliação total do programa contra 70% do peso 
relativo à produção docente. Antes de observar como se dá essa avaliação no 
interior da produção discente vale a pena, contudo, entender como os conceitos 
são atribuídos às notas dos programas. 

É importante lembrar que nosso programa havia alcançado a nota "5", 
correspondente a "muito bom", até sofrer um rebaixamento, em 2017, passando 
para a nota "4”, correspondente a "bom". 
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Se comparados os conceitos "muito bom" e "bom", da imagem abaixo, veremos 
que o que falta para que nosso programa volte a "ser muito bom" recuperando, 
como desejado, sua antiga nota "5" ou mesmo a superando, é sua inserção ou re- 
inserção "nacional/internacional" - fator decisivo, que marca a distinção entre os 
conceitos "muito bom" e "bom". 


ATRIBUIÇÃO DE CONCEITOS E NOTAS 

Os conceitos atribuídos sintetizaram as avaliações qualitativa e quantitativa dos 
programas, de acordo com as métricas e critérios definidos em cada item e quesito da 
Ficha de Avaliação pelo documento da Área. Conceitos e notas foram aplicados de 
modo comparativo e a combinação de 5 conceitos (Muito Bom, Bom, Regular, Fraco e 
Insuficiente) em 7 notas (7, 6, 5, 4, 3, 2 e 1) permitiu expressar a qualidade de cada 
Programa. 

Conceitos 


MUITO BOM (Notas 7, 6 e 5) 


Programa responde plenamente aos critérios do Documento da Área. 
Programa obteve resultados de excelência. 

Programa com inserção nacional/intemacional. 


- Programa atend^umtoapMM^WmnnvvMnMáMiíSiÉr^ 3 da area - 

- Proaí**^a^tinge os maiores índices na Produção IntelectuaCT^^^Myito Bom. 

BOM (Nota 4) 


- Programa responde adequadamente aos critérios do Documento da Área. 

- Programa com inserção regional/nacional. 

- Programa obteve resultados adequados. 

- Programa atende aos parâmetros e índices da área. 

- Programa que atinge, pelos menos, bons índices na Produção Intelectual, situados na^ 
faixa Bom. 


Fonte: Relatório de Avaliação Quadrienal 2017 - Comunicação e Informação, p. 12 
(marcações minhas) 

No que se refere à avaliação circunscrita à produção discente (cujo peso é apenas 
30% na avaliação total) constata-se, consultando esse mesmo documento, que a 
produção discente relativa, por exemplo, a "apresentações de trabalhos em 
eventos científicos" ou sua "organização” bem como atividades de estágio 
docente não causam nenhum impacto métrico, pois simplesmente não contam 
como critérios de avaliação dos programas de ciência da informação. 
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Ora, o que impacta então a avaliação final em termos de produção discente 
concentra-se, assimetricamente sob dois eixos: 

1-) o eixo que gira em torno da formação de mestres e doutores (com peso de 
60% na avaliação) 

e 


2-) o outro eixo que gira em torno da publicação discente (com peso de 40%). 

Essa assimetria de pesos na avaliação justifica-se na finalidade mais importante 
da avaliação da produção discente: o aperfeiçoamento do processo ensino- 
aprendizagem. 

É possível observar isso de modo mais detalhado nas imagens que seguem 
abaixo: 
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3 - Corpo Discente, Teses e Dissertações 

3.1. Quantidade de teses c dissertações defendidas no perfodo de avaliaçào, 
cm relação ao corpo docente permanente c i dimensão do corpo discente. 


30% 


20% 


Foram considerados indicadores 
para esse item a ia/ào entre alunos 
titulados e alunos matriculados c a 
ruão entre alunos titulados c a 
dimensão do corpo docente 
permanente. A atribuição de 
conceitos seguiu os seguintes 
parâmetros, conforme sua 
adequação às diretrizes da área; 
Muito Bom (MB): acima de 88% 
Bom (B): entre 80% c 87% 
Regular (R): entre 70% c 79% 
Fraco (F): 60% a 69% 

Insuficiente (I): até $9% 


3.2. Distribuição das orientações das teses c dissertações defendidas no 
periodo de avaliação cm relação aos docentes do programa. 


20% 


3.3. Qualidade das Teses c Dissertações c da produção de discentes autores 
da pós-graduação c da graduação (no caso de IES com curso de graduação na 
área) na produção cientifica do programa, aferida por publicações c outros 
indicadores pertinentes à área. 


Foi considerada nesse item a razão 
entre titulados orientados por 
docente permanente c titulados no 
periodo c o número de titulados 
orientados por cada DP (cada DP 
dc\ e orientar pelo menos 2 

discentes por bünwB _ 

Para a composição do indicc. a 
relação titulados orientados por 
docente pcrmancmciitulados teve 
peso de 50% c a relação docente 
permanente titulados, ano teve peso 
de 50%. Foram estabelecidas cinco 
faixas, considerando a combinação 
entre os indicadores acima: 

Muito Bom (MB): acima de 90% 
Bom (B): entre 80% c 89% 

Regular (R): entre 70% e 79% 

Fraco (F): 50% a 69% 

Insuficiente (I): até 49% 

São consideradas como indicadores 
nesse .L.sf.u a razão entre 
discernes que publicaram artigos cm 
periódicos qualificados c o total de 
discernes matriculados, a razão 
entre discentes com trabalhos 
completos cm anais c o total de 
discentes matriculados, c a razão 
entre alunos titulados que 
publicaram em periódicos B3 ou 
superior c total de alunos titulados. 
Para apuração desse item. forma 
elaborados 3 indicadores: 


Fonte: Relatório de Avaliação Quadrienal 2017 - Comunicação e Informação, p. 28 
(marcações minhas) 
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■Proporção dc discentes que 
publicaram cm periódicos 
qualificados cm relação ao total dc 
discentes matriculados no 
çuadriénio: 

1 1 Proporção de discentes que 
publicaram trabalhos completos cm 
anais dc eventos c o total dc 
discentes matriculados no 

qua driénio: _ 

|_3j Proporção de discentes titulados 
que publicaram cm pcr.ódicos 
qualificados (AI.B3) e o total dc 
alunos titulados no quadriénio: 

Fot considerada como meta quando, 
pelo menos, 30% dos discentes 
tivesse satisfeito cada una dos 3 
objetiv os. Para a con inosicào do 
ind.ee. 



Foram estabelecidas cinco faixas, 
considerando a combinação entre os 
indicadores acima. 

Muito Bom (MB): acima dc 75% 
Bom (B): entre 50% c 74% 

Regular (R): entre 20% c 49% 

Fraco (F): entre 10% c 19% 
Insuficient e (1): ate 9% 

Obs: Não foi contabilizada a 
produção dc egressos nos anos 
posteriores a sua titulação em 
virtude dc inconsistências 
observadas cm relação ao seu 
cadastramcnto. 


3.4. Eficiência do Programa na formação dc mestres c doutores bolsistas: 
Tempo dc formação dc mestres c doutores c percentual dc bolsistas titulados. 


20 % 


O ideal da área para a conclusão dos 
cursos c 50 meses para o doutorado 
e 30 meses para o mestrado. Foi 
considerado como indicadores nesse 
quesito o tempo médio dc titulação 
dc mestres c doutores. 

Foi considerado Muito Bom (MB) 
quando os limites establccidos pela 
área foram respeitados, c Bom (B) 
quando esses limites forma 
ultrapassados. Não foi necessário 
definir parâmetros para os demais 
conceitos porque todos os 
programas mantiverem-se bem 
próximos dos limites prescritos. 

[ Obs: Não foi g erado um indicador 


Fonte: Relatório de Avaliação Quadrienal 2017 - Comunicação e Informação, p. 29 
(marcações minhas) 


0 eixo 1-) de formação de mestres e doutores compõe seu peso (60%) 
reunindo os seguintes quesitos ou itens: 1.1 "Quantidade de teses e dissertações 
defendidas no período de avaliação, em relação ao corpo docente permanente e à 
dimensão do corpo discente (20%)", 1.2 "Distribuição das orientações das teses 
e dissertações defendidas no período de avaliação em relação aos docentes do 
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programa" (20%) e 1.3 "Eficiência do Programa na formação de mestres e 
doutores bolsistas: Tempo de formação de mestres e doutores e percentual de 
bolsistas titulados” (20%). 

Já o eixo 2-) de publicação discente compõe seu peso (40%) a partir de apenas 
um quesito ou item: 2.1 "Qualidade das Teses e Dissertações e da produção de 
discentes autores da pós-graduação e da graduação (no caso de IES com curso de 
graduação na área) na produção científica do programa, aferida por publicações 
e outros indicadores pertinentes à área". Cada um desses quesitos ou itens 
também podem ser observados detalhadamente em sua avaliação. 

Ora, a partir da análise atenta dos dados apresentados até aqui pelos indicadores 
definidos pela CAPES, torna-se evidente que os critérios, sugeridos pela proposta 
da representação discente para mudar o sistema de atribuição e manutenção das 
bolsas de pesquisa em nosso programa, acabam ironicamente aderindo a uma 
lógica muito mais produtivista do que àquela adotada pela própria instituição 
que vem avaliando historicamente a produção científica dos programas de pós- 
graduação em ciência da informação. Adesão essa que, em termos técnicos, 
pouco contribui na avaliação final do programa. 

Nesse sentido, gostaria de alertar a todas e todos para o risco de que a adoção 
desses critérios, baseados num produtivismo draconiano, talvez leve a 
resultados contrários àqueles anunciados na proposta, isto é, à evasão de pós- 
graduandos. Isso sim, algo extremamente grave e prejudicial ao programa 
também em termos de inclusão social. 

Minha sugestão para evitar que haja, com isso, um potencial desvirtuamento da 
finalidade da avaliação discente é que a proposta, apresentada por nossa 
representação, seja repensada coletivamente, adequando-se objetivamente à 
distinção de pesos já definida pelos próprios indicadores da CAPES. O que 
realmente conta para a melhoria efetiva da atual nota de nosso programa. 
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A assimetria de pesos entre o eixo 1-) de formação de mestres e doutores 
(com 60%) e o eixo 2-) de publicação discente (com 40%) é pertinente. 
Insisto mais uma vez nesse aspecto, porque não se pode perder de vista que a 
finalidade mais importante da avaliação da produção discente deve ser o 
aperfeiçoamento do processo ensino-aprendizagem. 0 que se traduz na entrega 
de teses e dissertações dentro dos prazos estipulados bem como sua aprovação 
segundo critérios de excelência adotados historicamente pela comunidade 
científica e assim avaliados pela CAPES. 

Afinal, enquanto corpo discente, qual é o nosso compromisso se não o de 
produzir teses e dissertações de excelência e não uma quantidade 
desproporcional de artigos cujo impacto será quase nulo na avaliação final 
porque irrelevantes em qualidade ou em virtude de seus recortes temáticos se 
repetirem na mesma proporção que seguimos o imperativo da publicação 
produtivista? 

Levando em consideração a análise dos dados apresentados até aqui, minha 
proposta concreta a ser discutida coletivamente é de que a quantidade de 
publicações propostas pela representação discente, como novo critério de 
atribuição e manutenção das bolsas, seja reformulada da seguinte maneira: 

Sugestão de 1 publicação (A1/B3) até o final da vigência da bolsa para 
os mestrandos (com o orientador ou outros colegas) 

e 

Sugestão de 2 publicações (A1/B3) até o final da vigência da bolsa para 
os doutorandos (com o orientador ou outros colegas) 

Usei a palavra sugestão porque a publicação em periódicos de excelência está 
sujeita ao aceite ou recusa de pareceristas e não apenas à vontade e/ou "esforço 
intelectual individual" de seus autores, além de outros fatores. 
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Desde já muito obrigada pela leitura e atenção de todas e todos! Peço desculpas 
caso tenha deixado escapar alguns erros na primeira versão dessa carta- 
relatório propositiva. Passei a madrugada elaborando-a dada a urgência e a 
importância da questão. Tenho esperanças de ter contribuído de alguma forma 
para a qualificação desse debate. 

Dedico essa modesta mini "pesquisação” aos meus professores e aos colegas que 
se tornaram e se tornarão amigas e amigos queridos no IBICT. Uma gente bacana 
que curte fazer ciência na cooperação e não na competição e fez valer a pena a 
aventura de me deslocar de São Paulo para o Rio de Janeiro. Agora sim posso, 
finalmente, dormir tranquila. 

Será? ;-) 

#Sim, ForaTemer; #MarielleVive! 


Cordialmente, Nahema Nascimento Falleiros. 
(doutoranda em ciência da informação - PPGCI/ECO/UFRJ) 
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